Trương Huyền Tịnh sinh năm 350, dưới thời cai trị của cha ông, Trương Trọng Hoa. Mẹ ông có khả năng là người thiếp của Trương Trọng Hoa, Quách phu nhân (bà được phong thái hậu năm 363). Ông có một người anh trai, Trương Diệu Linh, là thế tử của cha mình.

Năm 353, Trương Trọng Hoa qua đời, Trương Diệu Linh lên kế vị, song quyền lực thực tế nằm trong tay của bá phụ Trương Tộ, người này có một mối quan hệ tư thông với mẹ của Trương Trọng Hoa là Mã Thái hậu và nhận được sự trợ giúp của bà vào đầu năm 354 để phế truất Trương Diệu Linh và đưa ông ta lên ngôi. Cuối năm, khi Trương Tộ tuyên bố tuyệt giao với nhà Tấn, ông ta lập Trương Huyền Tịnh làm Lương Vũ hầu.

Năm 356, Trương Tộ bị lật đổ và bị giết bởi các tướng Trương Quán và Tống Hỗn. Ban đầu, Tống Hỗn muốn Trương Huyền Tịnh dùng tước hiệu nhà Tấn ban cho là Tây Bình công, một tước hiệu truyền đời, song Trương Quán đã bác bỏ ý của Tống Hỗn và yêu cầu người cai trị nhỏ tuổi xưng làm Lương vương, một tước hiệu mà triều đình nhà Tấn trước đó đã từ chối ban cho. Trương Quán trở thành người nhiếp chính.